home *** CD-ROM | disk | FTP | other *** search
/ Giga Games 1 / Giga Games.iso / net / vir_real / faq / rsrch / srnfsprn.eng < prev   
Encoding:
Text File  |  1991-12-30  |  6.6 KB  |  125 lines
  1. 91-03/Sarnoff.rsrch.inf
  2. From: hht@sarnoff.com (Herbert H. Taylor   x2733)
  3. Subject: Report from David Sarnoff Research Center.
  4. Date: Thu, 7 Mar 91 02:30:32 EST
  5. Organization: David Sarnoff Research Center, Princeton, NJ
  6.  
  7.  
  8.  
  9.   We are interested in exploring NOW what VR might be like for the
  10. general computing world in another ten years - much as Xerox Park gave
  11. us a vision in the 70's of what computing would be like in the 80's
  12. and 90's. And although the system we describe here is very expensive,
  13. we believe that in another ten years it will be a typical system. In
  14. fact at SIGGRAPH someone pointed out that the typical computer of the
  15. year 2000 will have 1G of RAM, operate at a 1GOP, have 1G I/O, etc. -
  16. our system exceeds that performance now.
  17.  
  18.   We have developed a Video Supercomputer (aka the Princeton Engine)
  19. which can continuously process multiple simultaneous streams of video
  20. input and output. When we originally conceived the machine in 1983 we
  21. intended it to be used for simulating in continuous real-time,
  22. proposed digital television receivers.  However, it has since found a
  23. happy home in a number of research fields including algorithms for
  24. HDTV, data compression, neural nets, image pyramids, scientific data
  25. and volume visualization and hopefully, VR. For example, we would like
  26. to combine the processing power of the Princeton Engine with high
  27. frame rate, high resolution displays - to create and manage a virtual
  28. world built from "real" elements. To date all applications on the
  29. Princeton Engine exploit in some way either real-time input or output
  30. and usually both.  The following ascii-gram sumarizes the
  31. architecture.
  32.   8Bit A to D's                                        9 Bit DAC's
  33.   (48 bits input)   _____________________________      (64 bits output)
  34.   Video In 1 ---->|    The Princeton Engine     |----> Video Out 1 (R)
  35.                   |  2048x16BIT SIMD/DSP Procs  |----> Video Out 2 (G)
  36.   Video In 2 ---->|                             |----> Video Out 3 (B)   
  37.                   |  o Processor Architecture   |
  38.   Video In 3 ---->| - Seven data paths          |----> Video Out 4 (R)
  39.  (Optional D1/D2) | - Mpy and Alu               |----> Video Out 5 (G)
  40.                   | - NN & Cut Through IP Comm  |----> Video Out 6 (B)
  41.   Video In 4 ---->| - 144 Bit Wide Inst Word    | /|\
  42.                   | - 64 3-Port Register File   |  |
  43.   Video In 5 ---->| - 1GigaByte Video Rate Ram  | OUTPUT
  44.                   | - Hardware LUT              | Clocked At 28, 56 MHZ
  45.   Video In 6 ---->|_____________________________|----> Video Out 7 (D1/D2)
  46.              /|\                /|\               /|\
  47.    INPUT      |                  |                 |
  48.    Sampled at 14,28,56,81MHZ     |        D1/D2 Clocked at 13.5/14MHZ
  49.                       Instruction Clock at 14MHZ
  50.  
  51.   The Princeton Engine is a SIMD architecture (ala CM2 and MassPar)
  52. comprised of up to 2048 16bit DSP processors. It differs from those
  53. machines in several respects including the ability to continuously
  54. perform video rate I/O, flowing the video transparently through the
  55. array of processors. The "front-end" is comprised of six Analog to
  56. Digital converters while the "back-end" is comprised of seven D to
  57. A's.  Alternatively, any of the analog inputs or outputs can be
  58. substituted with a digital D1/D2 interface. All 13 video data streams
  59. are independent of the instruction stream. With very little overhead
  60. any or all of the six video input streams can be directed to processor
  61. local memory based frame buffers. Video streams can then be "fused" or
  62. individually processed.
  63.    
  64.  "Video" Data Glove
  65.  ------------------
  66.  By positioning camaras (including IR camaras) spatially around the
  67. virtual participant it will be possible to achieve a "whole body" to
  68. virtual world interaction which is not possible with a physical data
  69. glove. To our knowledge, this concept has never been tried in VR
  70. because of the inordinate amount of video processing required - but it
  71. can be done utilizing the Princeton Engines unique video processing
  72. power. In the Princeton Engine up to six simultaneous real-time video
  73. input streams are possible. There is very little computational
  74. overhead to process multiple video streams nor to "fuse" them with
  75. artificial world data providing the "real" impression of a hand or
  76. body within the virtual world. We would like to hear opinions on how
  77. such a whole body interface would effect the design of the physical
  78. data glove. Is the data glove still required? If so, how will it
  79. differ from present designs. By having the "interface" in a sampled
  80. video format, image processing algorithms such as filters, edge and
  81. motion detectors can be applied, enhancing the transparancy of the
  82. fusion of "real" into the virtual world.
  83.  
  84.  The Princeton Engine provides a degree of interaction with scientific
  85. data in the HDTV framework which is not possible via other computing
  86. resources. In fact, it should be possible to "walk through" complex
  87. data without any perception of the latancy found in present systems.
  88. This walk through world will likely include a variety of high
  89. resolution rendered objects in data views with which the scientists,
  90. mission planners and commanders can directly interact. It should be
  91. possible to virtually "grab hold" of critical data - much as one uses
  92. a marking pen to highlight text in a reference document and perhaps
  93. perform the "virtual" equivalent of cut and paste.
  94.  
  95.  Video Windows
  96.  -------------
  97.   One could further envision within the "Virtual World" a 2D high
  98. resolution display or perhaps a window onto the "real" world, for
  99. example, camaras at strategic remote locations could direct live video
  100. back to the Princeton Engine host. This "live" video is then projected
  101. into the virtual world participants window. The "live" video window
  102. might be coupled to a lower frame rate networked video communication
  103. channel. Alternatively, one could envision a "television" within the
  104. virtual world which VR participants can "switch" to a variety of
  105. channels. This ability to integrate video into the virtual world will
  106. be valuable to a number of applications. 
  107.  
  108.  Status
  109.  ------
  110.  Two Princeton Engines have been in operation since 1988. This spring
  111. three more will be added - one of which will be placed at NIST under
  112. DARPA sponsorship - for the High Definition systems program. Although
  113. the VR program at DSRC is just getting started at a minimum level (but
  114. with several PE's to play with...) we still hope to demonstrate some
  115. of the major ideas using the present video environment this year. We
  116. have already demonstrated, for example, scenarios for multiple video
  117. I/O channels, "fusing" an IR source with a monochromatic source while
  118. driving multiple high resolution displays.
  119.  
  120. p.s Last Thursday was the 100th Birthday of our Founder, David Sarnoff.
  121.  
  122.  
  123.  
  124.  
  125.